Beyond Yes and No: Improving Zero-Shot LLM Rankers via Scoring Fine-Grained Relevance Labels

最新のLLMを搭載したゼロショットテキストランカーは、プロンプトだけで驚くべきランキング性能を達成しています。ポイントワイズLLMランカー向けの既存のプロンプトは、主にモデルに「はい」や「いいえ」などの2値の関連性ラベルから選択するように指示しています。しかし、中間的な関連性ラベルオプションがないため、LLMは、クエリに部分的に関連するドキュメントに対して、ノイズの多いまたは偏った回答を提供する可能性があります。本稿では、LLMランカーのプロンプトに詳細な関連性ラベルを組み込むことで、LLMランカーがクエリに対する関連性のレベルが異なるドキュメントをより適切に区別し、より正確なランキングを導き出すことを可能にする提案を行います。本稿では、プロンプトテンプレートの2つのバリアントと、さまざまなレベルの関連性を組み合わせた研究を行います。8つのBEIRデータセットを用いた実験では、詳細な関連性ラベルを追加することで、LLMランカーの性能が大幅に向上することが示されました。